KS-SIFT: a keyframe extraction method based on local features

In this work we propose a new keyframe extraction method based on SIFT local features. We extracted feature vectors from a carefully selected group of frames from a vídeo shot, analyzing those vectors to eliminate near duplicate keyframes, helping to keep a compact set. Moreover, as the keyframe extraction is based on local features, it keeps frames latent semantics and, therefore, helps to keep shot representativeness. We evaluated our method in the scene segmentation context, with videos from movies domain, developing a comparative study with three state of the art approaches based on local features. The results show that our method overcomes those approaches.FAPESP (grant 2012/19025-0)CNP

Shot representation as support to scene segmentation

A área de Personalização de Conteúdo tem sido foco de pesquisas recentes em Ciências da Computação, sendo a segmentação automática de vídeos digitais em cenas uma linha importante no suporte à composição de serviços de personalização, tais como recomendação ou sumarização de conteúdo. Uma das principais abordagens de segmentação em cenas se baseia no agrupamento de tomadas relacionadas. Logo, para que esse processo seja bem sucedido, é necessário que as tomadas estejam bem representadas. Porém, percebe-se que esse tópico tem sido deixado em segundo plano pelas pesquisas relacionadas à segmentação. Assim, este trabalho tem o objetivo de desenvolver um método baseado nas características visuais dos quadros, que possibilite aprimorar a representação de tomadas de vídeos digitais e, consequentemente, contribuir para a melhoria do desempenho de técnicas de segmentação em cenas.The Content Personalization area has been the focus of recent researches in Computer Science and the automatic scene segmentation of digital videos is an important field supporting the composition of personalization services, such as content recommendation or summarization. One of the main approaches for scene segmentation is based on the clustering of related shots. Thus, in order to this process to be successful, is necessary to properly represent shots. However, we can see that the works reported on the literature have left this topic in backgroud. Therefore, this work aims to develop a method based on frames visual features, which enables to improve video shots representation and, consequently, the performance of scene segmentation techniques

Automatic multi-video summarization based on human strategies

Nos últimos anos, o volume de dados multimídia produzidos e disponíveis para acesso tem crescido contínua e rapidamente. Esse contexto agravou o problema da sobrecarga de informação: encontrar conteúdo de interesse em meio à grande quantidade de opções disponíveis, tornando essenciais sistemas que possibilitem acesso eficiente. A sumarização de vídeo é uma área de pesquisa que busca lidar com esse problema, fornecendo uma versão compacta e informativa do conteúdo. Em particular, os sistemas multimídia atuais disponibilizam diversos vídeos relacionados ao mesmo assunto, contendo informações complementares. Esse fato ressalta a importância da sumarização multivídeo para lidar com o interesse do usuário em se informar sobre determinado assunto a partir de um conjunto de vídeos que o abordam, sem a necessidade de assistir a todos eles. Entretanto, a análise da literatura mostra que estratégias humanas não são consideradas na definição dos critérios utilizados para selecionar automaticamente os segmentos de vídeo que irão compor os sumários e o foco das técnicas tem sido a identificação de informações que se repetem em diferentes vídeos. Assim, esta tese tem o objetivo de investigar se critérios para seleção de conteúdo derivados de estratégias humanas são capazes de produzir resultados semanticamente mais relevantes na visão do usuário. A pesquisa desenvolvida evidencia que a abordagem proposta possibilitou mapear os julgamentos de relevância dos usuários e gerar sumários multivídeo mais próximos a suas expectativasIn the last years, the multimedia data volume produced and available for access has increased continuous and quickly. This context has also increased the overload information problem: find content of interest in the huge amount of available options, making essential systems that allow efficient access. Video summarization is a research field that deals with this problem, providing a compact and informative version of the content. In particular, current multimedia systems make available several videos related to the same subject, having complementary information. This fact highlights the importance of multi-video summarization to deal with users interest in being informed about a specific subject from a set of videos, without the need of watching all of them. However, the literature analysis shows that human strategies are not considered to define criteria used to automatically select video segments that will compose a summary and the focus of techniques has been the identification of common information in different videos. Therefore, this thesis aims to investigate if criteria for content selection derived from human strategies are able to produce results semantically more relevant in users view. The developed research evidences that the proposed approach made it possible to map users relevance judgments and generate multi-video summaries closer to their expectations